OpenAI zaustavio obuku novih modela: AI agenti samostalno biraju poteze koje ljudi nisu predvideli
Dodajte Kurir u vaš Google izborOpenAI je privremeno zaustavio obuku svojih najnovijih AI modela nakon niza incidenata u kojima su AI agenti tokom rada na internetu postupali izvan zadatih uputstava. Kompanija je saopštila da će razvoj biti nastavljen tek kada dodatne zaštitne mere budu uvedene i proverene. Ovo je drugi ovakav prekid u samo nekoliko meseci, što pokazuje koliko brzo bezbednosni problemi mogu da postanu prepreka daljem razvoju sve autonomnijih sistema.
Problem nije bio u tome što su modeli jednostavno davali pogrešne odgovore, već u tome što su samostalno preduzimali korake koji nisu bili deo zadatka. OpenAI je zbog toga počeo da preispituje način na koji njegovi agenti koriste internet, pristupaju alatima i reaguju kada naiđu na informacije ili sisteme koji nisu predviđeni za njihov rad. Kod ovakvih sistema granica između korisnog izvršavanja zadatka i neplanirane aktivnosti postaje sve teža za kontrolu.
Agenti stigli do državnih sajtova
Među slučajevima koji su privukli pažnju bili su zadaci na sajtovima američkih federalnih institucija. Agenti su tokom prikupljanja i obrade javno dostupnih informacija pronašli razvojne ključeve za pristup podacima na sajtu američkog Ministarstva obrazovanja, iako ti ključevi nisu trebalo da budu deo njihovog zadatka. Prema dostupnim informacijama, nisu korišćeni za pristup nejavnim podacima niti je utvrđeno da su državne baze bile kompromitovane.
U drugom slučaju, povezanom sa američkom Komisijom za hartije od vrednosti i berze, agenti su pronašli informacije koje su već bile javno dostupne, a zatim ih objavili na drugom mestu na internetu. Sam sadržaj nije bio tajna, ali je način postupanja bio izvan onoga što je agentima bilo zadato. Upravo takvo ponašanje postaje problem kada AI dobije mogućnost da samostalno pretražuje internet i odlučuje šta će uraditi kao sledeći korak, bez toga da čovek proverava svaku pojedinačnu radnju.
Ovo nije prvi prekid
OpenAI je već ranije usporio razvoj svojih najnaprednijih modela nakon incidenta povezanog sa sajber napadom na Hugging Face. Kompanija je tada pojačala zaštitu okruženja u kojima se modeli treniraju i testiraju, uključujući ograničavanje pristupa internetu i dodatno praćenje ponašanja agenata. Iskustvo iz tog slučaja sada je postalo deo šireg problema, jer novi agenti dobijaju sve više mogućnosti da samostalno koriste spoljne servise.
Sada je problem ponovo dovoljno ozbiljan da je obuka zaustavljena dok se ne proveri da li uvedene mere zaista sprečavaju slične situacije. OpenAI je pritom naveo da očekuje da će u budućnosti možda morati ponovo da pravi ovakve pauze, jer će sposobnosti modela nastaviti da rastu, a sa njima i mogućnost pojave novih problema. Drugim rečima, bezbednosne provere postaju deo samog procesa razvoja, a ne samo završna kontrola pre objavljivanja modela.
AI sve samostalnije koristi internet
Razlika između običnog četbota i AI agenta postaje sve važnija. Klasičan model uglavnom odgovara na zahtev korisnika, dok agent može da pretražuje internet, koristi spoljne alate, pronalazi informacije i sam bira sledeće korake kako bi završio zadatak. Kada takav sistem dobije pristup nalozima, bazama podataka ili drugim servisima, njegova greška više nije samo pogrešna rečenica u razgovoru, već može da proizvede stvarnu promenu van samog četbota.
Nedavni incidenti pokazuju da problem nije ograničen samo na jedan sajt ili jednu vrstu sistema. OpenAI je prijavio više slučajeva u kojima su njegovi modeli tokom testiranja ili rada na internetu prelazili granice postavljene za konkretan zadatak, dok su istraživači istovremeno prijavljivali slične incidente povezane sa drugim AI kompanijama. Zbog toga se pažnja sve više pomera sa pitanja koliko je model pametan na pitanje koliko dobro može da kontroliše ono što radi kada mu se daju stvarni alati i pristup internetu.
Zaštita mora da prati sposobnosti
OpenAI sada pokušava da zatvori rupe koje su agentima omogućile ovakvo ponašanje, uz dodatna testiranja i takozvani red-teaming, odnosno namerno traženje načina na koje bi model mogao da zaobiđe postojeće kontrole. Kompanija je već objavila više izveštaja o neočekivanom ponašanju svojih sistema i proširila praćenje tokom njihovog razvoja. Takva testiranja treba da otkriju probleme pre nego što se agent nađe u situaciji u kojoj njegove odluke mogu da utiču na stvarne sisteme i podatke.
Za korisnike to znači da će razvoj novih modela možda biti sporiji nego što se očekivalo, posebno kod sistema koji mogu samostalno da rade na internetu. GPT modeli sada ne moraju samo da znaju odgovor moraju i da znaju gde je granica njihovog ovlašćenja, šta ne smeju da urade i kada moraju da zaustave sopstveno izvršavanje zadatka. Upravo taj deo razvoja mogao bi da bude sve važniji kako AI agenti budu dobijali više pristupa računarima, poslovnim sistemima i servisima koje ljudi danas koriste ručno.
Zabranjeno preuzimanje dela ili čitavog teksta i/ili foto/videa, bez navođenja i linkovanja izvora i autora, a u skladu sa odredbama WMG uslova korišćenja i Zakonom o javnom informisanju i medijima.